GEPA-Curator:面向自改进 Agent 的策展式学习框架
🧭 自改进 Agent 的策展式提示优化
UC Berkeley · ICSI · LBNL · Furiosa AI · KAIST
用任务策展与成功轨迹检索过滤噪声失败,提升 reflective prompt optimizer 性能,多基准最高超 GEPA 20.7%
📌 工作参考价值(4 点)
- 在构建 agentic 流程(客服助手、推荐理由生成、自动选品)时,不要把所有失败轨迹都喂给 prompt 优化器;先做失败归因,区分 prompt 缺陷、工具/harness 不稳定、环境随机性和 judge 噪声,只保留可归因于 prompt 的失败,提升学习信号质量。
- 成功轨迹检索可迁移到电商场景:为某类商品生成文案或操作手册时,检索相似商品/任务的历史成功 trajectory 作为 few-shot context 注入优化器,稳定优化方向并减少灾难性遗忘。
- 若线上已使用 GEPA/ACE 等 reflective optimizer,可前置“任务是否值得学习”的判断,并维护带 embedding 索引的成功轨迹库做检索,工程成本可控且效果提升显著(最高 20%+)。
- 结果提示数据飞轮中噪声样本会污染优化器;在推荐/广告的自动 prompt 优化与失败样本筛选上,应引入置信度过滤和成功案例检索机制。
训练通用智能体模型的数据配方:开放实验与消融研究
🧭 Agent训练数据配方的系统性消融与开放数据集
UC Berkeley · Stanford University · University of Texas at Austin · UCLA · Amazon
100+消融实验揭示智能体训练数据配方的关键要素,100K数据微调Qwen3-32B后在7个基准上平均准确率44.8%,超越最强开源基线3.9个百分点
📌 工作参考价值(4 点)
- 数据多样性优于单一任务源:消融显示混合多种任务源(如代码、交互、推理)对泛化至关重要,构建推荐/搜索Agent的微调数据时应避免只用单一场景的日志。
- 指令格式与难度分布:通过统一系统提示、调整任务难度比例可以稳定提升Agent鲁棒性;在电商Agent微调中可借鉴控制简单/困难样本比例的方法,防止模型过拟合简单对话。
- 开放数据流水线复用:论文公开了完整的数据处理管线(任务收集、格式标准化、难度过滤、质量筛选),可直接复用构建内部垂直领域Agent训练集,尤其适合客服、推荐解释等场景。
- 消融方法论:100+对照实验的设计思路可用于业务中快速诊断数据瓶颈,比如对比不同召回源、不同交互历史长度对Agent效果的影响,低成本找到最优数据配方。
通用 Agent 能否自动化数据策展?
🧭 Agent 自动化数据策展评估 ★ 深度解读
Virginia Tech · University of Illinois Urbana-Champaign · University of Wisconsin-Madison · University of California, Berkeley
引入 CURATION-BENCH 基准,发现通用 Agent 能执行数据策展但探索窄,方法适应支架可引导突破
📌 工作参考价值(4 点)
- 在推荐数据管道中引入 method-adaptation scaffold:强制 Agent 每轮迭代引用、适配一项已有方法,可避免陷入局部超参(如域权重)调整,驱动真正的新策略探索。
- 将 迭代式数据策展 作为新的计算维度:当数据预算固定时,将额外算力投入搜索更优的数据子集或重写策略,可能优于直接训练更多数据,这在电商推荐中可用于高效利用有限交互样本。
- CURATION-BENCH 的 数据隔离 + 污染审计 + 轨迹诊断 设计,可直接迁移到构建推荐数据选择 Agent 的测试框架,确保可比性与可审查性。
- 轻量策略列表(源平衡、质量过滤、多样性采样等) 可帮助 Agent 快速生成候选,但需配合约束性协议(如强制证据锚定)才能真正改变执行行为,避免“vibe optimization”。